Demo 设计
Demo 设计
一、需要实现的功能:
- 机械臂根据工人指示移动物体
- 机械臂运动意图在 Hololens 中的渲染
- 人体/机械臂轨迹的记录,用于评估(?)
二、具体 demo
机械臂移动物体到指定位置
首先 RGB-D 相机识别出桌面上的某一个物体,反馈到 hololens 的界面中,用户会看到对应物体上渲染出来了一个边界框和表示位姿的坐标轴:
随后用户可以通过手部的射线来移动这个目标框(物体上的检测框依然会存在)到某个位置,然后目标框上会显示一个 UI 询问是否要把物体移动到这里,如果点击确认,机械臂就会把对应的物体到目标框的位置。
可以在路径中设置一些障碍,展示机械臂障碍识别的功能。
机械臂移动物体到工人手上
用户凝视一个物体时显示一个界面,即是否要将操作员注视的物体移动到他的手上,如果手腕翻起,即为确认。随后机械臂会将该物体移动到手上。